Laboratorul 3

Echipamente de achizitie a imaginilor
Camere foto si video digitale

Continut:

* Camerele ViewCam și Gembird sunt studii de caz și pot fi înlocuite în partea aplicativă cu orice tip de cameră video/web aflată la dispoziția studenților, cu precizarea tipului și caracteristicilor acesteia

2. Senzori de imagine

Se doreste introducerea notiunilor minimale necesare pentru intelegerea fenomenelor care au loc la nivelul diferitelor tipuri de senzori. Aceasta intelegere constituie baza pentru aprecierea parametrilor unui senzor de imagine si, ca urmare, pentru posibilitatea alegerii senzorului adecvat unei anumite aplicatii de vedere artificiala. Dupa modul constructiv exista urmatoarele tipuri de senzori:

senzori Vidicon
fotodiode si fototranzistori
senzori CCD
senzori CMOS

2.1. Senzori Vidicon

Primele tipuri de senzori pentru camerele de luat vederi s-au bazat pe tuburile fotosensibile cu baleiaj. Astazi aceste tipuri de senzori practic nu se mai folosesc. Caracteristicile lor, ca si ale tuburilor cinescoape, dispozitivele complementare de afisare a luminii, au influentat insa decisiv standardele de televiziune care sunt valabile si astazi.

La tubul Vidicon in sectiunea de formare a imaginii, lumina elibereaza electroni la trecerea prin fotocatod, prin efect fotoelectric. Acesti electroni, ajung la o tinta de sticla incarcata pozitiv. Ca urmare a bombardamentului cu electroni apare o emisie de sarcini pozitive proportionala cu lumina incidenta la intrare. In sectiunea baleiaj, spatele tintei este maturat cu un fascicul de electroni emis de un tun. Acesti electroni sunt absorbiti proportional cu sarcinile pozitive. Fasciculul reflectat este preluat de catod in amonte de sectiunea de amplificare.

Tubul Vidicon are o tinta de sticla, fundul tubului, acoperita de un film transparent conductor (electrod) si de un strat fotosensibil granulat a carui rezistenta variaza local sub actiunea luminii.

$Description: E:\wamp64\www\easy_learning_old\Laboratoare\L3-Camere digitale\img\senzori\image002_1.jpg$
Fig. 1 Tubul Vidicon

Anodul accelereaza electronii catre tinta. Stratul fotosensibil are un potential slab pozitiv, astfel incat sa creeze un camp electric local. Grila este incarcata pozitiv, ceea ce are ca efect franarea electronilor care trec prin ea. Acesti electroni ajung la tinta, stratul fotoconductor, cu viteza aproape nula. Acolo unde ajung fotonii, pe tinta, rezistivitatea locala scade. Deci curentul rezultat ca urmare a prezentei electronilor pe tinta, va depinde de rezistivitatea stratului, deci de fluxul luminos, si de perioada de baleiaj. Se poate lucra cu o perioda de baleiaj constanta (de exmplu 40 ms) pentru ca dependenta sa se refere numai la fluxul luminos.

Ca dezavantaje ale acestui senzor ar fi urmatoarele:

Fenomenul de blooming (influenta luminii care loveste stratul fotosensibil intr-un punct; la un moment se rasfrange si asupra zonelor vecine).
Remanenta importanta (efectul influentei incidente nu dispare instantaneu, ceea ce limiteaza numarul de imagini care pot fi receptionate intr-o secunda).
Tubul poate fi distrus printr-o iluminare deosebit de puternica si din aceasta cauza se foloseste greu impreuna cu un laser.
Dimensiune si greutate mari.
Fiabilitate scazuta datorita incalzirii.
Consum electric mare.
Probleme de reglare a geometriei imaginii, in special la colturi.
Sensibilitate relativ scazuta.
Dependenta neliniara intre lumina incidenta si semnalul de iesire furnizat.

Senzorul ofera o calitate foarte buna a imaginii din punct de vedere al rezolutiei si al culorii. Pentru a nu avea probleme cu geometria imaginii, ca si la tubul cinescop, ar fi fost necesar ca toate punctele de pe suprafata fotosensibila sa fie egal departate de tunul de electroni care face baleiajul. Din acest punct de vedere suprafata ideala ar fi fost un patrat sferic (un petec de pe suprafata sferei marginit de patru arce egale). Insa, cu o singura imagine, respectiv cu un senzor de imagine, nu se poate obtine informatia despre profunzime, adica distanta pana la punctele din imagine.

2.2. Fotodiode si fototranzistori

Cele mai simple componente electronice sensibile la lumina sunt fotodioda si fototranzistorul.

O fotodioda este o jonctiune pn, polarizata in sensul de blocare, la care unul dintre straturi, de exemplu p, este subtire si poate fi expus la lumina. Fotonii elibereaza perechi electron-loc la zona de tranzitie. Aici campul electric este foarte intens, locurile si electronii vor migra si se va stabili un curent proportional cu fluxul luminos. Alte fotodiode isi expun luminii stratul lor n.

Un fototranzistor functioneaza dupa un principiu asemanator: fotonii elibereaza perechi electron-loc in jonctiunea baza-colector a unui tranzistor npn. Acest flux de perechi va crea un curent de baza proportional cu fluxul luminos si deci unul de emitor marit cu factorul de amplificare.

O capacitate MOS, privita ca o celula fotosenzoriala (figura 2), utilizeaza proprietatile fotoelectrice ale materialelor semiconductoare cu siliciu care, in anumite conditii, elibereaza electroni (-) si goluri (+), proportional cu fluxul de fotoni. Sarcinile negative sunt colectate de campul electric al unei jonctiuni de siliciu dopat (impurificat).

Fig. 2 Celula fotosensibila

Prin concatenarea unor celule individuale se pot obtine senzorii liniari si matriceali. Senzorii individuali sunt izolati intre ei si sunt dispusi echidistant sub forma unui vector sau a unei matrice. Intr-un astfel de senzor, senzorul individual este chiar pixelul (picture element). Culegerea sarcinilor individuale, transferul lor de-a lungul senzorului si transformarea lor intr-un semnal electric sunt operatii complexe si delicate realizate prin tehnici diverse care diferentiaza tipurile de senzori. In final semnalul analogic este furnizat intr-un format standardizat. Conversia analog-numerica poate avea loc in camera care contine senzorul sau in afara ei.

Un strat semiconductor de tip p este acoperit cu un strat subtire de oxid de siliciu. Acest ultim strat este acoperit la randul lui cu benzi conductoare pe post de electrozi. Senzorul este de fapt compus din capacitati dispuse echidistant, fiecare capacitate fiind constituita din trei parti: electrodul metalic, izolantul din oxid, un strat inferior de siliciu impurificat p.

Daca se aplica din exterior pe electrozi un potential V pozitiv in raport cu bara impurificata de siliciu, atunci fiecare capacitate se incarca si se creeaza un camp electric local. Sub fiecare electrod apar acum zone de tranzitie. Fotonii elibereaza in aceste zone perechi loc-electron. Campul local respinge locurile, atrage electronii sub fiecare electrod. Aceasta acumulare depinde de fluxul luminos pe perioada cat s-a facut integrarea.

$Description: E:\wamp64\www\easy_learning_old\Laboratoare\L3-Camere digitale\img\senzori\image006_1.jpg$
Fig. 3 Relatiile dintre culorile de baza si culorile complementare

Aceeasi celula elementara poate fi folosita pentru obtinerea senzorilor color care disting culorile componente ale culorii albe. Anumite sisteme disting culorile de baza (RGB), rosu, verde si albastru, in timp ce altele lucreaza cu culorile complementare (YCM), galben, cian si magenta (figura 3). Pentru a diferentia culorile sau complementele lor se adauga filtre individuale pentru pixeli si culori.

2.3. Senzori CCD

Senzorii CCD (Charge Coupled Devices) capteaza lumina in mici fotocelule si si-au primit numele de la modul in care sarcinile sunt citite dupa expunere. Pentru aceasta (figura 4), mai intai sarcinile din prima linie sunt transferate intr-un registru de citire. De acolo, semnalele sunt preluate de un amplificator si ulterior de un convertor analog-numeric.

Fig. 4 Functionarea principala a senzorului CCD

Dupa ce o linie a fost citita, sarcinile ei din registrul de citire sunt sterse. Urmatoarea linie va fi transferata in registrul de citire, iar toate liniile sunt transferate cu o linie mai jos. Sarcinile din fiecare linie sunt cuplate astfel incat la fiecare transfer din linia curenta in linia urmatoare are loc si un transfer din linia precedenta in linia curenta. In acest mod se poate citi o linie intreaga la un moment dat.

Tehnologia CCD are acum peste 35 de ani si foloseste un proces specializat VLSI bazat pe crearea unei retele de electrozi de siliciu pe suprafata cipului. Nodurile retelei sunt atat de mici si de apropiate incat permit pastrarea electronilor pana cand acestia sunt mutati fizic din pozitia in care lumina incidenta i-a generat, de-a lungul suprafetei cipului, pana la un amplificator de iesire. Pentru a realiza acest proces, reteaua de electrozi este comandata de un ceas extern senzorului. Din punct de vedere tehnic este posibil, dar nu este rentabil din punct de vedere economic sa se integreze in tehnologia CCD alte functii necesare functionarii camerei, cum ar fi circuite de ceas, logica de secventiere, procesare de semnale etc. Aceste functii sunt, in mod normal, implementate in alt cip. In acest fel se ajunge la solutii tehnice care presupun intre 3 si 8 cipuri.

Un alt punct nevralgic al tehnologiei CCD este necesitatea semnalelor de ceas cu o amplitudine si de o forma impuse care influenteaza decisiv performantele finale ale sistemului. Un cip specializat care sa genereze semnale corecte de ceas, ca forma si amplitudine, necesita tensiuni de alimentare nestandardizate si creste puterea consumata. Plecand de la o singura tensiune de alimentare, pentru a genera 5 sau 6 semnale diferite de alimentare, este nevoie de cateva regulatoare interne care evident cresc complexitatea solutiei. Aceste inconveniente sunt pretul platit pentru o imagine de foarte buna calitate.

Din punct de vedere istoric, tehnologia CCD a fost dezvoltata cautand solutii pentru alte probleme decat achizitia imaginilor. In anii 1960 calculatoarele nu dispuneau de sisteme de memorie ieftine si de mare dimensiune. Laboratoarele Bell au propus tehnologia CCD ca o modalitate de stocare de date. In 1974, Fairchaild Electronics au produs primul senzor de imagine CCD cu un format de 100×100 pixeli, iar in 1975 s-a produs prima camera comerciala bazata pe aceasta tehnologie. Tot atunci Kurzweil Computer Products a realizat primul scanner bazat pe un senzor liniar CCD de 500 pixeli de la Fairchaild.

Exista patru tipuri de baza pentru senzorii CCD:

liniari
interliniari
cadru intreg (full frame)
transfer pe cadre (frame transfer).

Un senzor CCD liniar (figura 5) este alcatuit dintr-un sir de senzori dispusi pe o singura linie. Pentru a achizitiona o imagine folosind un senzor liniar este necesar ca senzorul sa se deplaseze cu viteza controlata de-a lungul imaginii. Viteza de achizitie este redusa daca se foloseste aceasta maniera.

$Description: E:\wamp64\www\easy_learning_old\Laboratoare\L3-Camere digitale\img\senzori\image010_1.jpg$
Fig. 5 Structura unui senzor liniar

Structura electromecanica care asigura deplasarea se bazeaza pe motoare pas cu pas si creste, pe de o parte complexitatea sistemului, iar pe de alta parte riscul de alterare a geometriei imaginii. Utilizarea actuala a senzorilor liniari se concentreaza in fabricatia scanner-elor si a cititoarelor de coduri cu bare.

Celelalte trei variante de senzori sunt considerate generic ca senzori matriceali CCD pentru ca formeaza zone senzoriale cu linii si coloane, de forma dreptunghiulare sau patrate.

Un senzor CCD cu transfer interliniar (figura 6) are pentru fiecare pixel un fotodetector si o zona de stocare a sarcinii rezultate. Zona de stocare este formata prin ecranarea (opacizarea) unei parti din zona pixelului. Prin concatenarea zonelor opace se formeaza un canal vertical care permite transferul sarcinilor de-a lungul senzorului pana la un registru orizontal de deplasare.

Prin modul de functionare, varianta interliniara permite transferul rapid al sarcinilor din zona in care au fost acumulate sub influenta luminii, mai intai in zonele opace de stocare, iar ulterior din linie in linie pana la registrul orizontal de deplasare. Prin deplasarea vechilor sarcini se lasa loc pentru noile sarcini acumulate, ceea ce este un suport deosebit pentru achizitia de secvente video. Prin prezenta zonelor de stocare si transfer se micsoreaza zona din senzor care este efectiv sensibila la lumina. Desi este o complicatie din punct de vedere al fabricatiei, se poate recurge la atasarea de microlentile pentru pixeli. Aceste microlentile au rolul de a concentra lumina de pe o zona mai mare decat zona efectiv fotosensibila a senzorului.

Fig. 6 CCD cu transfer interliniar

Senzorii CCD de tip cadru intreg (figura 7) folosesc toata zona pixelului pentru achizitia imaginii. In acest fel, pe timpul transferului de sarcini nu se mai poate face integrare, deci nu se mai poate face acumulare de sarcini prin expunerea la lumina. Pentru a impiedica influenta luminii pe timpul cat are loc transferul de sarcini (ceea ce ar strica calitatea imaginii), se pot plasa diafragme mecanice in fata senzorilor.

Fig. 7 CCD cadru intreg (full frame)

Exista si situatii in care aplicatia, prin natura ei, elimina necesitatea diafragmei mecanice, ca de exemplu atunci cand durata si volumul luminii este controlat extern prin lumina stroboscopica de studio.

Varianta cu transfer pe cadre este similara cu varianta cadru intreg, dar se ecraneaza (mascheaza) jumatate din matricea senzoriala astfel incat sa fie apta pentru stocarea sarcinilor. Dupa terminarea perioadei de integrare, cand elementele senzoriale elementare au inmagazinat sarcinile, are loc un transfer al sarcinilor catre zona de stocare si ca urmare o noua integrare se poate face fara o intarziere expresa. In acest mod, acest tip de senzori se pot folosi pentru achizitii rapide.

Fig. 7.1 CCD cu transfer pe cadre

Totusi, suprapunerea perioadelor de integrare cu acelea de transfer de sarcini, conduce la o scadere a calitatii imaginii (smear). Pretul de cost al acestor senzori este crescut datorita complexitatii induse de prezenta celor doua zone, senzoriale si de stocare. Varianta interliniara reprezinta, din acest punct de vedere, o imbunatatire pentru ca se permite integrarea si transferul simultane, fara efectul de murdarire a imaginii.

Pentru citirea datelor din senzor se folosesc doua metode:

citire progresiva
citire intretesuta.

Intr-un mod analog cu baleiajul video, si aici conteaza ordinea in care coloanele senzorului sunt transferate in registrul orizontal si ulterior la iesirea din senzor.

In varianta progresiva, liniile se citesc succesiv in ordinea in care apar in imagine. In varianta intretesuta, se citesc intai liniile pare si ulterior liniile impare, dupa care are loc reintegrarea. Pentru senzorii mai mari de 1 Mpix, cea mai frecventa metoda este aceea intretesuta in care un rand de electrozi controleaza transferul vertical al sarcinilor din doua randuri de pixeli.

Pentru ca exista un numar mare de producatori si o competitie dura pe piata, exista si multe solutii de proiectare diferite care incearca, fiecare in parte, diferite avantaje.

Fuji ofera senzori cu pixelul octogonal ceea ce ajuta la cresterea densitatii de pixeli si la marirea zonei fotosensibile. Producatorii sustin ca senzorul lor are si un raport semnal-zgomot si o gama dinamica mai bune. Ideal ar fi sa existe senzori cu calitatea imaginii ca la CCD si cu versatilitatea de la CMOS. Desi acest lucru nu este posibil, Kodak a proiectat un senzor CCD cu transfer interliniar care face unele prelucrari de imagini in cip prin adaugarea unor ceasuri pentru esantionare dublu corelata. Se poate calcula astfel curentul de intuneric (care apare in lipsa luminii), care se scade din imaginea obtinuta in prezenta luminii.

Philips (ca si Sanyo) a proiectat o tehnologie de transfer pe cadre numita True Frame Sensor Architecture. Opacizarea zonei de stocare se face cu un ecran metalic si poate inmagazina numai aproximativ 1/5 din capacitatea totala a pixelului. Senzorul este folosit astfel numai pentru analiza scenei in vederea determinarii parametrilor de reglaj si pentru vizualizarea scenei. Cand camera este intr-unul din aceste moduri de lucru, electronii sunt trimisi rapid in zona de stocare cu pierderea a 4/5 dintre ei. In modul normal de lucru toti electronii sunt cititi rapid fara a fi trimisi in zona de stocare. Metoda de citire este mai degraba progresiva decat intretesuta, iar principalul avantaj al acestei tehnici este viteza de lucru pe care producatorii o apreciaza la 30-60 fps.

2.4. Senzori CMOS

CMOS este, ca si CCD, o tehnologie pe baza de siliciu si are proprietati fundamentale relativ similare din punct de vedere al sensitivitatii in spectrul vizibil si aproape de infrarosu. Ambele tehnologii convertesc lumina incidenta sub forma de fotoni in sarcini electrice sub forma de electroni. Senzorii color pot fi fabricati in ambele tehnologii, in mod normal, prin adaugarea la fiecare pixel a unor filtre de culoare (de exemplu rosu, verde si albastru).

Fig. 8 Senzor CMOS

Tehnologia CMOS este o tehnologie de tip semiconductor metal-oxid si este arhitectura cea mai folosita pentru tehnica de calcul, unitati centrale si module de memorie. Senzorii de imagine CMOS (figura 8) performanti folosesc tehnica APS (active pixel) care a fost dezvoltata la NASA Jet Propulsion Laboratory la mijlocul anilor '90.

Senzorii CCD sunt produsi pe linii de fabricatie specializate pe care nu se pot produce alte circuite integrate, ceea ce creste pretul de cost.

Alte linii de fabricatie folosesc tehnologia CMOS (Complementary Metal Oxide Semiconductor) pentru circuite integrate, pentru procesoare si memorii. De exemplu procesorul Pentium III contine 10 milioane de elemente active de acest tip. Fabricarea senzorilor de imagine pe astfel de linii de fabricatie, conduce la scaderea importanta a costului. Trebuie precizat ca aici termenul CMOS se refera la modalitatea de fabricatie si nu la o tehnologie specifica pentru senzori.

Exista doua variante de baza pentru senzorii de imagine CMOS:

pasivi
activi

PPS (Passive Pixel Sensors) a fost prima varianta dezvoltata in anii '60. La nivelul zonelor fotosensibile, lumina sub forma de fotoni este convertita in sarcini, adica electroni. Sarcina acumulata pe timpul expunerii, integrarii, este citita si amplificata. Senzorii sunt mici, atat cat sa permita expunerea zonei fotosensibile si sa includa conexiunile. Problema majora o constituie, la acest tip se senzori, zgomotul materializat intr-o retea pe fundalul imaginii. Pentru a inlatura acest zgomot de fond sunt necesare etape de prelucrare suplimentare.

APS (Active Pixel Sensors) reduce exact zgomotul amintit pentru varianta pasiva. Circuite specializate la nivelul fiecarui pixel determina si anuleaza zgomotul aparut. De la aceste circuite active vine si numele tehnologiei. Performantele acestei variante de tehnologie CMOS se apropie de performantele oferite de tehnologia CCD si permit realizarea de senzori de mare dimensiune si inalta rezolutie.

Tehnologia CMOS permite includerea in cipul senzorului a unor functii suplimentare (inclusiv pentru micsorarea jitter-ului si stabilizarea sau compresia imaginii, pe langa cele amintite anterior) care necesita cipuri suplimentare la CCD. In aceasta tehnologie se poate comuta rapid intre achizitia de imagini (fotografii) si achizitia de secvente video (filme). Trebuie subliniat ca in acest ultim caz ramane de rezolvat, la nivelul calculatorului cu care este cuplata camera, problema memorarii in timp real a volumului mare de informatie asociat secventelor video.

Prin prezenta circuitelor suplimentare de eliminare a zgomotelor se micsoreaza procentul zonelor influentate de lumina din suprafata totala a circuitului (fill factor - procentul de acoperire). In acest fel, sensitivitatea la lumina scade si apar probleme legate de calitatea imaginilor achizitionate in conditii de lumina putina. Situatia se poate corecta, extern, prin prezenta surselor de lumina de tip flash si prin marirea timpului de expunere. Din punct de vedere tehnologic, intern, se recurge la introducerea de microlentile pentru fiecare pixel, pentru a aduna mai multa lumina, si la reducerea circuitelor suplimentare.

Pentru ca senzorii CMOS au un nivel de zgomot mai mare decat senzorii CCD este nevoie de un timp de procesare mai mare intre doua imagini. Se pot folosi pentru aceasta procesoare de semnal (DSP - Digital Signal Processors) specilizate. Pretul este un avantaj major pentru CMOS ceea ce determina tendinta de a indrepta cercetarile in directia producerii unor astfel de senzori si de a le imbunatatii performantele.

2.5. Caracteristicile senzorilor de imagine

· Blooming este fenomenul care apare atunci cand capacitatea unui pixel este depasita si excesul de sarcini se raspandeste catre pixelii vecinii alterand calitatea imaginii finale. Exista mai multe tehnici de reducere a acestui fenomen prin adaugarea in cip a unor circuite suplimentare care sa asigure drenarea sarcinilor in exces.

· Curentul de intuneric (Dark Current) este termenul care desemneaza semnalul care este furnizat de senzor in lipsa luminii incidente. Acest curent rezidual se datoreaza acumularii de sarcini prin efect termic. Sarcinile acumulate prin acest efect variaza de la pixel la pixel.

· Pixelii de referinta la intuneric (Dark Reference Pixels) sunt pixeli fotosensibili care sunt acoperiti de un ecran metalic. Sarcinile acumulate in acesti pixeli sunt datorate numai efectului termic si ele sunt folosite ca masura a sarcinilor acumulate prin acest fenomen in pixelii propriu-zisi (pixeli activi) carora le sunt asociati.

· Gama dinamica (Dynamic Range) este raportul intre valoarea semnalului de saturatie al senzorului (valoarea maxima oferita la iesire) si semnalul de intuneric. Uzual valoarea se calculeaza in decibeli (dB).

· Factorul de umplere (Fill Factor) este raportul dintre aria zonei efective sensibile la lumina (zona activa) si aria totala a senzorului. Valoarea factorului de umplere poate fi crescuta prin introducearea in cip a unor microlentile care sa concentreze lumina pentru fiecare pixel in parte.

· Zgomotul constant de fond (Fixed Pattern Noise) este zgomotul observat pe imagine in lipsa oricarei iluminari sau in prezenta unei iluminari uniforme pentru intreaga imagine. Acest tip de zgomot poate fi inlaturat prin extragerea din semnalul util a valorii de intuneric corespunzatoare fiecarui pixel.

· Sarcina intarziata la nivelul pixelului (Photodiode Lag) este definita ca: procentul din sarcina acumulata pe perioada de integrare care ramane la nivelul pixelului dupa terminarea perioadei de transfer. Sarcina ramasa netransferata va afecta liniile sau cadrele urmatoare.

· Neuniformitatea raspunsului (Photoresponse Nonuniformity) este variatia varf la varf care apare in semnalul de iesire al unui senzor supus unei iluminari constante pentru toti pixelii sai. Pentru senzorii alb-negru aceasta variatie este foarte mica, pentru ca singurele valori variabile sunt rata de eficienta, curentul de intuneric si aria zonei active. Pentru senzorii color variatia creste datorita imperfectiunilor filtrelor de culoare care pot permite accesul unui volum mai mare de lumina pentru anumite zone in raport cu altele.

· Rata de eficienta (Quantum Efficiency) a unui senzor este raportul dintre numarul electronilor generati si numarul fotonilor incidenti intr-o perioada de timp. Rata de eficienta depinde de lungimea de unda a luminii incidente.

· Murdarirea imaginii (Smear) se datoreaza unui transfer (difuzie) nedorit de sarcini intre un pixel si vecinii sai. Acest efect este mai important la iluminari cu lungime de unda mai mare.

· Senzitivitatea senzorului este o masura combinata a ratei de eficienta, la nivelul pixelilor, si a factorului de conversie a sarcinilor, acumulate si transferate, in tensiune, la nivelul amplificatorului de iesire. Senzitivitatea este exprimata cel mai frecvent printr-o alta marime: responsivitatea (capacitatea de raspuns) intregului senzor, care este raportul dintre lumina incidenta pe senzor si tensiunea rezultata.